Năm 1683, Trịnh Tạc sai Vũ Duy Đoán cùng đoàn sứ bộ lên Cao Bằng để giải quyết việc biên giới với nhà Thanh. Khi ấy có một viên nội thần mang tước Hán quận công cũng được cử đi; dù chỉ là một thái giám nhưng được chúa ưu ái nên trong danh sách tên của ông ta viết trên tên Vũ Duy Đoán. Ông rất bất bình, công khai tỏ thái độ trước mặt bá quan. Các quan cũng tỏ ý không hài lòng với quyết định của chúa, ngự sử Vũ Công Đạo cũng đập đầu vào cột không chịu cầm bút viết lệnh sắp đặt của chúa Trịnh như vậy.

Chúa Trịnh nghe vậy nổi giận bãi chức cả hai người, Vũ Duy Đoán bị đuổi về quê làm dân. Sau đó chúa còn cho người đến thu lại tất cả những thứ đã ban cho ông, Vũ Duy Đoán đem trả hết, riêng đạo sắc về khoa tự và tấm biển gỗ đề hai chữ "Tiến sĩ" thì ông không chịu nộp. Viên quan phụng sai cứ đòi mãi, ông bèn nói:

Viên quan phụng sai đành phải về.

Từ khi thôi làm quan, Vũ Duy Đoán vui thú với cảnh đồng quê, không để ý đến việc chính trị. Ông dành thời gian sáng tác thơ văn, viết sách. Ông có làm bài phú Phạm Lãi đi chơi Ngũ Hồ, viết sách chữ Nôm với các cuốn Nông gia khảo tích, Phong cảnh Mộ Trạch, Dị văn ký... được người đời khen ngợi. Trạng nguyên Đặng Công Chất cũng khen văn ông thanh cao, kiến thức rộng rãi, ví "học thức trong bụng ông như nuốt cả gác sách Thiên Lộc, hút gác sách Thạch Cư" [4].

Cho đến cuối đời, Vũ Duy Đoán vẫn giữ tính cương trực khẳng khái không hề thay đổi. Ông mất năm 64 tuổi.